【アップデート】Google Cloud Vertex AIでGeminiの実験モデルが利用可能になりました
2024.09.02こんにちは、@TakaakiKakei です。
日本時間2024年8月28日頃に、Google Cloudから以下の実験モデルが公開されました。
- gemini-pro-experimental
- gemini-flash-experimental
これらのモデルはGoogle Cloudの Vertex AIでも利用可能になっています。
本記事では、これらの実験モデルの特徴や使い方について解説します。
概要
- gemini-pro-experimental
- gemini-flash-experimental
上記の実験モデルは以下の特徴を持っています。
- 以前の実験モデルから一般的なフィードバックベースの改善を実施
- 事前の通知なしに別のモデルに入れ替わる可能性がある
- 将来的に安定版モデルになる保証はない
執筆時点（2024年9月2日）では、Gemini 1.5 ProおよびGemini 1.5 Flashをベースに、2024年8月27日に更新されたモデルとなっています。
料金
Gemini Experimental is not billed.
実験モデルの利用は課金されません。
プライバシー
Gemini Experimental does not log your input or output data, and we need your feedback to help improve our experimental models.
入出力データは記録されません。モデルの改善に役立てるため、フィードバックがあれば上記ページ内のフォームから送信することができます。
制限
Gemini Experimental has a quota of 10 queries per minute (QPM). This quota can't be increased.
Gemini Experimental doesn't let you configure advanced parameters or the region, which is set to us-central1.
1分あたり10クエリという制限があり、これは増やすことができません。
また、利用可能なリージョンはus-central1に限定されています。
やってみた
上記ページの手順で、Google Cloud の Vertex AI Studioで試すことができます。
APIから呼び出すこともできます。Vertex AI Studioで対象のモデルを選択し、「コードを取得」ボタンを押すと、各プログラミング言語のサンプルコードが表示されるので便利です。
上記は「gemini-flash-experimental」を使用する場合のサンプルコードキャプチャです。既存のモデルと同様の記述方法で、Model IDを変更するだけで利用できることが分かります。
考察など
Google AI StudioのプロダクトリードのLogan Kilpatrick氏によると、以下のような向上がされているとのことです。
- 「gemini-pro-experimental」(0827)は、コーディングと複雑なプロンプトでのパフォーマンスが大幅に向上
- 「gemini-flash-experimental」(0827)は、多くの内部ベンチマークでパフォーマンスが大幅に改善
クラスメソッド株式会社が提供する生成AI環境構築サービス「AI-Starter」で動かしてみました。
「gemini-flash-experimental」(0827)の応答速度は非常に印象的です。賢さについては「gemini-pro-experimental」(0827)とあわせて、もう少し使ってみて評価したいと思います。
制限の確認
AI-Starterの実装中に、前述の制限の確認を行いました。
1分あたり10クエリ
Gemini Experimental has a quota of 10 queries per minute (QPM). This quota can't be increased.
実際に試したところ、たしかに1分あたり約10クエリで制限に抵触しました。抵触すると、ClientErrorとともに、以下のようなエラーメッセージが返却されました。
err: {
"type": "ClientError",
"message": "[VertexAI.ClientError]: got status: 429 Too Many Requests. {\"error\":{\"code\":429,\"message\":\"Quota exceeded for aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model with base model: gemini-experimental. Please submit a quota increase request. https://cloud.google.com/vertex-ai/docs/generative-ai/quotas-genai.\",\"status\":\"RESOURCE_EXHAUSTED\"}}",
}
利用者に公開する際には、このエラーメッセージを適切に処理することが重要です。以下のクラスを使用して、エラーを処理することができます。
リージョン制限
Gemini Experimental doesn't let you configure advanced parameters or the region, which is set to us-central1.
リージョンがus-central1に固定されていることを確認しました。asia-northeast1を指定してリクエストを送信してみたところ、実際にリクエストは失敗しました。
LMSYSでの位置づけ
LMSYS Chatbot Arena Leaderboardは、さまざまな生成AIモデルを比較できるサイトです。
2024年9月2日時点での各カテゴリのランキングは以下の通りです。
gemini-pro-experimental
「Gemini-1.5-Pro-Exp-0827」という名称で登録されています。かなり高評価ですね。
- Overall #2
- Math #1
- Coding #2
- Long Query #1
- Japanese #1
gemini-flash-experimental
「Gemini-1.5-Flash-Exp-0827」という名称で登録されています。回答速度も考慮すると、簡単なタスクには最適だと思われます。
- Overall #6
- Math #3
- Coding #7
- Long Query #1
- Japanese （ランキング未掲載）
さいごに
最近では、ChatGPTでも実験モデルが提供されており、主要生成AIプロバイダーから、このような実験モデルが提供されることは今後も増えていくと考えられます。開発者やAI研究者は、実験モデルを利用することで今後の可能性を探ることができるかもしれません。
それではまた！
